##############################################################################
# define and set program parameters
corpusFileName = 0              # -c: the path of the directory containing the documents.
documentDirectory = 0           # -d: the name of the directory containing the corpora
tokenizationRuleset = 0         # -t: the prespecified set of rules you want to use to tokenize the corpus. If none (0), standard rules will be used
##############################################################################
# import python libraries
import sys, getopt
import sm_libs.scriptParams as params
import sm_libs.corpora as corpora
##############################################################################

# process command line arguments
corpusFileName, documentDirectory, tokenizationRuleset = params.corpusTokenizeCorpus(sys.argv[1:], corpusFileName, documentDirectory, tokenizationRuleset)